Giáo hoàng Alexander II sinh tại Baggio, Milan, thuộc Lombarđi của đế quốc La Mã thần thánh vào khoảng năm 1010 hoặc 1015 với tên thật là Anselme de Lucques. Ông được đào tạo ở Cluny, bên cạnh Hildebrand. Ông bắt đầu sự nghiệp công khai bằng sự thuyết giảng.

Tại Lombarđi, ông tấn công những phong tục của hàng giáo sĩ, đặc biệt là sự kết hôn của các linh mục.

Tổng Giám mục Guido tức giận tố cáo ông với hoàng đế Henry III. Thay vì lên án ông, hoàng đế lại giao phó cho ông việc thuyết giảng tại Đức. Năm 1057, Anselmô lại được giao phó tòa Giám mục Lucques.

Sau đó ông được bổ nhiệm làm đặc sứ tông tòa ở Milan, lần đầu tiên năm 1057 cùng với Hildebrand và lần thứ hai vào năm 1059 cùng với Phêrô Đamianô.